机器可以学习机器学习吗？我们建议使用我们用来回答类似问题的相同标准回答这个问题：人类学习机器学习吗？我们在人类级别的机器学习介绍中自动回答麻省理工学院的期末考试。该课程是一个大型的本科课程，每个学期约有五百名学生。最近，计划合成和几乎没有学习的学习解决了大学级问题，在人类层面设定了数学和STEM课程的问题。在这项工作中，我们从期末考试中解决了与问题集不同的问题：问题更长，有多个部分，更复杂，并且跨越了更广泛的主题。我们在2017年秋季至2022年春季之间的八项麻省理工学院介绍最终考试中提供了一个新的数据集和基准，并提供了自动回答这些问题并产生新问题的代码。我们进行消融研究，比较零拍的学习与几乎没有的学习，经过思考链的提示，GPT-3在文本上进行了预训练，并且在一系列机器学习主题上进行了代码进行了微调，并发现了很少的照片学习方法表现最好。我们将数据和代码公开用于机器学习社区。
translated by 谷歌翻译
在过去的十年中，神经网络在各种各样的反问题中取得了显着的成功，从医学成像到地震分析等学科中的采用促进了他们的收养。但是，这种反问题的高维度同时使当前理论预测，网络应在问题的维度上成倍扩展，无法解释为什么在这些设置中使用的看似很小的网络在实践中也可以正常工作。为了减少理论和实践之间的差距，在本文中提供了一种在具有低复杂性结构的高维置的神经网络近似Lipschitz函数所需的复杂性的一般方法。该方法基于这样的观察，即在\ mathbb {r}^in \ mathbb {r}^{d \ times d} $ in \ mathbb {a} \ in \ mathbb {a} \ in \ mathcal集合$ \ mathcal {S } \ subset \ mathbb {r}^d $中的低维立方体$ [ - m，m]^d $意味着对于任何Lipschitz函数$ f：\ mathcal {s} \ to \ mathbb {r}^p $ ，存在lipschitz函数$ g：[-m，m]^d \ to \ mathbb {r}^p $，使得$ g（\ mathbf {a} \ mathbf {x}）= f（\ mathbf {x }）$用于所有$ \ mathbf {x} \ in \ mathcal {s} $。因此，如果一个人具有一个近似$ g的神经网络：[-m，m]^d \ to \ mathbb {r}^p $，则可以添加一个图层，以实现JL嵌入$ \ mathbf {A a} $要获得一个近似于$ f的神经网络：\ mathcal {s} \ to \ mathbb {r}^p $。通过将JL嵌入结果与神经网络近似Lipschitz函数的近似结果配对，然后获得了一个结果，这些结果绑定了神经网络所需的复杂性，以近似Lipschitz在高尺寸集合上的功能。最终结果是一个一般的理论框架，然后可以用它来更好地解释比当前理论所允许的更广泛的逆问题中较小的网络的经验成功。
translated by 谷歌翻译
过度分化的神经网络倾向于完全符合嘈杂的训练数据，但在测试数据上概括。灵感来自这一实证观察，最近的工作试图了解在更简单的线性模型中的良性过度或无害插值的这种现象。以前的理论工作批判性地假设数据特征是统计独立的，或者输入数据是高维的;这会阻止具有结构化特征映射的一般非参数设置。在本文中，我们为再生内核希尔伯特空间中的上限回归和分类风险提供了一般和灵活的框架。关键贡献是我们的框架在数据革处矩阵上描述了精确的充分条件，在这种情况下发生无害的插值。我们的结果恢复了现有的独立功能结果（具有更简单的分析），但它们还表明，在更常规的环境中可能发生无害的插值，例如有界正常系统的功能。此外，我们的结果表明，以先前仅针对高斯特征的方式显示分类和回归性能之间的渐近分离。
translated by 谷歌翻译
现代视觉惯性导航系统（VINS）面临着实际部署中的一个关键挑战：他们需要在高度动态的环境中可靠且强大地运行。当前最佳解决方案仅根据对象类别的语义将动态对象过滤为异常值。这样的方法不缩放，因为它需要语义分类器来包含所有可能移动的对象类;这很难定义，更不用说部署。另一方面，许多现实世界的环境以墙壁和地面等平面形式表现出强大的结构规律，这也是至关重要的。我们呈现RP-VIO，一种单眼视觉惯性内径系统，可以利用这些平面的简单几何形状，以改善充满活力环境的鲁棒性和准确性。由于现有数据集具有有限数量的动态元素，因此我们还提供了一种高动态的光致态度合成数据集，用于更有效地对现代VINS系统的功能的评估。我们评估我们在该数据集中的方法，以及来自标准数据集的三个不同序列，包括两个真实的动态序列，并在最先进的单眼视觉惯性内径系统上显示出鲁棒性和准确性的显着提高。我们还显示在模拟中，通过简单的动态特征掩蔽方法改进。我们的代码和数据集是公开可用的。
translated by 谷歌翻译